Jensen不等式

设f是定义域为实数的函数

如果对于所有的实数x，f(x)的二次导数>=0，那么f是凸函数。
当x是向量时，如果其hessian矩阵H是半正定的（H>=0），那么f是凸函数。
如果，那么称f是严格凸函数。

Jensen不等式表述如下：

如果f是凸函数，X是随机变量，那么：E[f(X)]>=f(E[X])，通俗的说法是函数的期望大于等于期望的函数。

特别地，如果f是严格凸函数，当且仅当P(X = EX) = 1，即X是常量时，上式取等号，即E[f(X)] = f(EX)。

图像直观理解： Pasted image 20240426201122.png 图中，实线f是凸函数（因为函数上方的区域是一个凸集），X是随机变量，有0.5的概率是a，有0.5的概率是b（就像抛硬币一样）。X的期望值就是a和b的中值了，可以很明显从看出，E[f(x)] >= f(E[X])